#Surge AI

งานวิจัย

HANDBOOK.md: เบนช์มาร์กใหม่ชี้ agent ทำตามเอกสารนโยบายยาวไม่ได้ — โมเดลที่ดีที่สุดผ่านแค่ 36.2%

Surge AI ปล่อยเบนช์มาร์ก HANDBOOK.md ทดสอบว่า agent ทำตามคู่มือนโยบายยาว 20–124 หน้าที่อยู่ใน context ได้จริงไหม ผลคือจาก 30 คอนฟิก 20 โมเดล ตัวที่ดีที่สุด (Claude Fable 5 adaptive/max) ผ่านแค่ 36.2% และเกือบทั้งหมดต่ำกว่า 25%